2022-11-07
Unsupervised representation learning aims at describing raw data efficiently to solve various downstream tasks. It has been approached with many techniques, such as manifold learning, diffusion maps, or more recently self-supervised learning. Those techniques are arguably all based on the underlying assumption that target functions, associated with future downstream tasks, have low variations in densely populated regions of the input space. Unveiling minimal variations as a guiding principle behind unsupervised representation learning paves the way to better practical guidelines for self-supervised learning algorithms.
translated by 谷歌翻译
自从最近的监督学习成功以来，应用数学和机器计算引起了很多希望。许多行业的从业人员一直在尝试从旧范式切换到机器学习。有趣的是，这些数据科学家比微调模型花费更多的时间取消，注释和清洁数据。该论文是由以下问题激发的：我们可以比监督学习的一个更通用的框架来从混乱数据中学习吗？假设数据收集的瓶颈在于注释。我们将弱的监督建模为给予而不是独特的目标，即一组目标候选者。我们认为，应该寻找与大多数观测值相匹配的``乐观''功能。这使我们能够得出一个原理来消除部分标签。我们还讨论了将无监督的学习技术纳入我们的框架的优势，特别是通过扩散技术接近的歧管正则化，为此我们得出了一种新算法，该算法通过输入维度比基线方法更好地扩展。最后，我们从被动转换为主动监督的学习，引入了``主动标签''框架，其中从业者可以查询有关所选数据的弱信息。除其他外，我们利用一个事实，即一个事实不需要全部信息来访问随机梯度并执行随机梯度下降。
translated by 谷歌翻译
The workhorse of machine learning is stochastic gradient descent. To access stochastic gradients, it is common to consider iteratively input/output pairs of a training dataset. Interestingly, it appears that one does not need full supervision to access stochastic gradients, which is the main motivation of this paper. After formalizing the "active labeling" problem, which focuses on active learning with partial supervision, we provide a streaming technique that provably minimizes the ratio of generalization error over the number of samples. We illustrate our technique in depth for robust regression.
translated by 谷歌翻译
由于数据的注释可以在大规模的实际问题中稀缺，利用未标记的示例是机器学习中最重要的方面之一。这是半监督学习的目的。从访问未标记数据的访问中受益，它很自然地弥漫将标记数据平稳地知识到未标记的数据。这诱导了Laplacian正规化的使用。然而，Laplacian正则化的当前实施遭受了几种缺点，特别是众所周知的维度诅咒。在本文中，我们提供了统计分析以克服这些问题，并揭示了具有所需行为的大型光谱滤波方法。它们通过（再现）内核方法来实现，我们提供了现实的计算指南，以使我们的方法可用于大量数据。
translated by 谷歌翻译
2022-11-29
This work is an exploratory research concerned with determining in what way reinforcement learning can be used to predict optimal PID parameters for a robot designed for apple harvest. To study this, an algorithm called Advantage Actor Critic (A2C) is implemented on a simulated robot arm. The simulation primarily relies on the ROS framework. Experiments for tuning one actuator at a time and two actuators a a time are run, which both show that the model is able to predict PID gains that perform better than the set baseline. In addition, it is studied if the model is able to predict PID parameters based on where an apple is located. Initial tests show that the model is indeed able to adapt its predictions to apple locations, making it an adaptive controller.
translated by 谷歌翻译
已经引入了平均野外游戏（MFG），以有效地近似战略代理人。最近，MFG中学习平衡的问题已经获得了动力，尤其是使用无模型增强学习（RL）方法。使用RL进一步扩展的一个限制因素是，解决MFG的现有算法需要混合近似数量的策略或$ Q $价值。在非线性函数近似的情况下，这远非微不足道的属性，例如，例如神经网络。我们建议解决这一缺点的两种方法。第一个从历史数据蒸馏到神经网络的混合策略，将其应用于虚拟游戏算法。第二种是基于正规化的在线混合方法，不需要记忆历史数据或以前的估计。它用于扩展在线镜下降。我们从数值上证明，这些方法有效地可以使用深RL算法来求解各种MFG。此外，我们表明这些方法的表现优于文献中的SOTA基准。
translated by 谷歌翻译
光学和雷达卫星时间序列是协同的：光学图像包含丰富的光谱信息，而C波段雷达捕获有用的几何信息，并且对云盖免疫。由于近期基于时间关注的方法的成功跨多种裁剪映射任务，我们建议调查这些模型如何适应多种方式运行。我们实施和评估多种融合方案，包括新颖的方法和对培训程序的简单调整，显着提高性能和效率几乎没有增加复杂性。我们表明大多数融合方案具有优势和缺点，使其与特定设置相关。然后，我们跨多个任务评估多模式的好处：宗地分类，基于像素的分割和Panoptic Parcel分段。我们表明，通过利用光学和雷达时间序列，基于多模式的时间关注的模型可以在性能和弹性方面偶尔将单片式模型到云覆盖。为了进行这些实验，我们使用空间对齐的雷达图像时间序列增强肉饼数据集。生成的数据集，Pastis-R，构成了具有语义和实例注释的第一个大规模，多模式和开放式卫星时间序列数据集。
translated by 谷歌翻译
前所未有的访问多时间卫星图像，为各种地球观察任务开辟了新的视角。其中，农业包裹的像素精确的Panoptic分割具有重大的经济和环境影响。虽然研究人员对单张图像进行了探索了这个问题，但我们争辩说，随着图像的时间序列更好地寻址作物候选的复杂时间模式。在本文中，我们介绍了卫星图像时间序列（坐着）的Panoptic分割的第一端到端，单级方法（坐姿）。该模块可以与我们的新型图像序列编码网络相结合，依赖于时间自我关注，以提取丰富和自适应的多尺度时空特征。我们还介绍了Pastis，第一个开放式访问坐在Panoptic注释的数据集。我们展示了对多个竞争架构的语义细分的编码器的优越性，并建立了坐在的第一封Panoptic细分状态。我们的实施和痛苦是公开的。
translated by 谷歌翻译
2020-07-06
在许多分类任务中，可以将一组目标类组织成层次结构。该结构引起类之间的语义距离，并且可以在成本矩阵的形式下汇总，其定义了类集上的有限度量。在本文中，我们建议通过将该度量集成在原型网络的监控中来模拟分层类结构。我们的方法依赖于共同学习特征提取网络和一组类原型，其相对布置在嵌入空间中的相对布置遵循分层度量。我们表明，与传统方法和其他基于原型的策略相比，该方法允许在成本矩阵加权的误差率的一致性提高。此外，当诱导的指标包含对数据结构的洞察力时，我们的方法也提高了整体精度。四种不同公共数据集的实验 - 从农业时间序列分类到深度映像语义分割 - 验证我们的方法。
translated by 谷歌翻译